
#блок с импортом всего нужного
import pandas as pd
import seaborn as sns
import datetime as dt
import plotly.express as px
from matplotlib import pyplot as plt
from plotly import graph_objects as go
from scipy import stats as st
from numpy import median, mean


actions = pd.read_csv('/datasets/game_actions.csv')
costs = pd.read_csv('/datasets/ad_costs.csv')
sources = pd.read_csv('/datasets/user_source.csv')

display('Таблица actions =====================================================================================================')
display(actions.head())
display(actions.info())
display('Дубликаты в actions', actions.duplicated().sum())

display('Таблица costs =======================================================================================================')
display(costs.head())
display(costs.info())
display('Дубликаты в costs', costs.duplicated().sum())

display('Таблица sources =====================================================================================================')
display(sources.head())
display(sources.info())
display('Дубликаты в sources', sources.duplicated().sum())

'Таблица actions ====================================================================================================='

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 135640 entries, 0 to 135639
Data columns (total 5 columns):
 #   Column          Non-Null Count   Dtype 
---  ------          --------------   ----- 
 0   event_datetime  135640 non-null  object
 1   event           135640 non-null  object
 2   building_type   127957 non-null  object
 3   user_id         135640 non-null  object
 4   project_type    1866 non-null    object
dtypes: object(5)
memory usage: 5.2+ MB

None

'Дубликаты в actions'

1

'Таблица costs ======================================================================================================='

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 28 entries, 0 to 27
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   source  28 non-null     object 
 1   day     28 non-null     object 
 2   cost    28 non-null     float64
dtypes: float64(1), object(2)
memory usage: 800.0+ bytes

None

'Дубликаты в costs'

0


actions[actions.duplicated(keep=False)]


actions = actions.drop_duplicates().reset_index(drop=True)


display(actions['event'].unique())
display(actions['building_type'].unique())
display(actions['project_type'].unique())
display(costs['day'].unique())
display(costs['source'].unique())
display(sources['source'].unique())

array(['building', 'finished_stage_1', 'project'], dtype=object)

array(['assembly_shop', 'spaceport', nan, 'research_center'], dtype=object)

array([nan, 'satellite_orbital_assembly'], dtype=object)

array(['2020-05-03', '2020-05-04', '2020-05-05', '2020-05-06',
       '2020-05-07', '2020-05-08', '2020-05-09'], dtype=object)

array(['facebook_ads', 'instagram_new_adverts', 'yandex_direct',
       'youtube_channel_reklama'], dtype=object)

array(['facebook_ads', 'yandex_direct', 'youtube_channel_reklama',
       'instagram_new_adverts'], dtype=object)


# сколько разных дней соответствует какждому источнику в датасете 'costs'
display(costs.groupby('source').agg({'day': 'nunique'}))
# сколько разных источников соответствует какждому дню в датасете 'costs'
display(costs.groupby('day').agg({'source': 'nunique'}))
# сколько разных источников соответствует какждому пользователю в датасете 'sources', вдруг есть дубли пользователей
display(sources.groupby('user_id').agg({'source': 'count'}).sort_values('source').tail())


display(actions.query('building_type != building_type').info())
display(actions.query('building_type != building_type')['event'].unique())

<class 'pandas.core.frame.DataFrame'>
Int64Index: 7683 entries, 6659 to 135638
Data columns (total 5 columns):
 #   Column          Non-Null Count  Dtype 
---  ------          --------------  ----- 
 0   event_datetime  7683 non-null   object
 1   event           7683 non-null   object
 2   building_type   0 non-null      object
 3   user_id         7683 non-null   object
 4   project_type    1866 non-null   object
dtypes: object(5)
memory usage: 360.1+ KB

None

array(['finished_stage_1', 'project'], dtype=object)


actions.query('event == "project" or event == "finished_stage_1"').info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 7683 entries, 6659 to 135638
Data columns (total 5 columns):
 #   Column          Non-Null Count  Dtype 
---  ------          --------------  ----- 
 0   event_datetime  7683 non-null   object
 1   event           7683 non-null   object
 2   building_type   0 non-null      object
 3   user_id         7683 non-null   object
 4   project_type    1866 non-null   object
dtypes: object(5)
memory usage: 360.1+ KB


actions['event_datetime'] = pd.to_datetime(actions['event_datetime'])
costs['day'] = pd.to_datetime(costs['day']).dt.date
display(actions.info())
display(costs.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 135639 entries, 0 to 135638
Data columns (total 5 columns):
 #   Column          Non-Null Count   Dtype         
---  ------          --------------   -----         
 0   event_datetime  135639 non-null  datetime64[ns]
 1   event           135639 non-null  object        
 2   building_type   127956 non-null  object        
 3   user_id         135639 non-null  object        
 4   project_type    1866 non-null    object        
dtypes: datetime64[ns](1), object(4)
memory usage: 5.2+ MB

None

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 28 entries, 0 to 27
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   source  28 non-null     object 
 1   day     28 non-null     object 
 2   cost    28 non-null     float64
dtypes: float64(1), object(2)
memory usage: 800.0+ bytes

None


display(costs['day'].unique())
display(actions['event_datetime'].min())

array([datetime.date(2020, 5, 3), datetime.date(2020, 5, 4),
       datetime.date(2020, 5, 5), datetime.date(2020, 5, 6),
       datetime.date(2020, 5, 7), datetime.date(2020, 5, 8),
       datetime.date(2020, 5, 9)], dtype=object)

Timestamp('2020-05-04 00:00:01')


costs['day'] = costs['day'] + dt.timedelta(days=1)
display(costs['day'].unique())

array([datetime.date(2020, 5, 4), datetime.date(2020, 5, 5),
       datetime.date(2020, 5, 6), datetime.date(2020, 5, 7),
       datetime.date(2020, 5, 8), datetime.date(2020, 5, 9),
       datetime.date(2020, 5, 10)], dtype=object)


# первые столбцы - идентификатор и дата и время первого действия
profiles = (
    actions.sort_values(by=['user_id', 'event_datetime'])
    .groupby('user_id')
    .agg({'event_datetime': 'first', 'building_type': 'count'})
    .rename(columns={'event_datetime': 'first_ts', 'building_type': 'build_count'})
    .reset_index()
)

# отметим пользователей, завершивших проект и первый этап
profiles['project'] = profiles['user_id'].isin(actions.query('event == "project"')['user_id'].unique())
profiles['stage_1_compl'] = profiles['user_id'].isin(actions.query('event == "finished_stage_1"')['user_id'].unique())

# небольшая функция, чтобы выделить типы игроков
def type_define(flags):
    if flags[0] == True and flags[1] == True:
        result = 'researcher'
    elif flags[1] == True:
        result = 'warrior'
    else:
        result = 'not_completed'
    return result

# делим игроков на типы
profiles['user_type'] = profiles[['project', 'stage_1_compl']].apply(type_define, axis=1)

# чтобы узнать, за сколько пользователи завершают первый уровень, присоединим время соответствующего события
profiles = (
        profiles.merge(
        actions.query('event == "finished_stage_1"')[['user_id', 'event_datetime']],
        on='user_id',
        how='left',
    )
    .rename(columns={'event_datetime': 'compl_time'})
)

# узнаем время завершения и переводим в секунды для последующего анализа
profiles['compl_time'] = profiles['compl_time'] - profiles['first_ts']
profiles['compl_time'] = profiles['compl_time'].dt.total_seconds()

# проверим, всё ли хорошо заполнилось и как всё выглядит
profiles.info()
profiles.head()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 13576 entries, 0 to 13575
Data columns (total 7 columns):
 #   Column         Non-Null Count  Dtype         
---  ------         --------------  -----         
 0   user_id        13576 non-null  object        
 1   first_ts       13576 non-null  datetime64[ns]
 2   build_count    13576 non-null  int64         
 3   project        13576 non-null  bool          
 4   stage_1_compl  13576 non-null  bool          
 5   user_type      13576 non-null  object        
 6   compl_time     5817 non-null   float64       
dtypes: bool(2), datetime64[ns](1), float64(1), int64(1), object(2)
memory usage: 662.9+ KB


# выделим день, когда пришёл пользователь
profiles['day'] = profiles['first_ts'].dt.date

# из датасета 'sources' цепляем источник, из которого пришёл пользователь
profiles = profiles.merge(sources, on=['user_id'], how='left')

# для расчёта cac посчитаем, сколько пользователей приходит в день по каналам
users_by_day = (
    profiles.groupby(['day', 'source'])
    .agg({'user_id': 'nunique'})
    .rename(columns={'user_id': 'unique_users'})
    .reset_index()
)

# добавим эту информацию в датасет 'costs' и посчитаем cac
costs = costs.merge(users_by_day, on=['day', 'source'], how='left')
costs['cac'] = costs['cost'] / costs['unique_users']

# добавляем в профили
profiles = profiles.merge(
                costs[['day', 'source', 'cac']],
                on=['day', 'source'],
                how='left',
            )

# проверим, всё ли хорошо заполнилось и как всё выглядит
profiles.info()
profiles.head()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 13576 entries, 0 to 13575
Data columns (total 10 columns):
 #   Column         Non-Null Count  Dtype         
---  ------         --------------  -----         
 0   user_id        13576 non-null  object        
 1   first_ts       13576 non-null  datetime64[ns]
 2   build_count    13576 non-null  int64         
 3   project        13576 non-null  bool          
 4   stage_1_compl  13576 non-null  bool          
 5   user_type      13576 non-null  object        
 6   compl_time     5817 non-null   float64       
 7   day            13576 non-null  object        
 8   source         13576 non-null  object        
 9   cac            13576 non-null  float64       
dtypes: bool(2), datetime64[ns](1), float64(2), int64(1), object(4)
memory usage: 981.1+ KB


fig = go.Figure(go.Pie(labels=profiles.groupby('source')['user_id'].count().index, values=profiles.groupby('source')['user_id'].count()))
fig.update_traces(textinfo='value+percent', textposition='inside')
fig.update_layout(title_text='Распределение игроков по источникам',
                  width=800,
                  height=600,
                  annotations=[dict(text='Источники', x=1.18, y=1.05, font_size=15, showarrow=False)])
fig.show()


fig = px.bar(profiles.groupby(['source', 'day'])['user_id'].count().reset_index(), x='day', y='user_id', color='source', text='user_id')
fig.update_layout(title_text='Количество пользователей по дням в разрезе источников',
                  xaxis_title='Дата',
                  yaxis_title='Количество пользователей',
                  width=800,
                  height=1000,
                  legend_title_text='Источники')
fig.show()


fig = px.bar(costs, x='day', y='cost', color='source', text='cost')
fig.update_traces(texttemplate='%{text:.2s}')
fig.update_layout(title_text='Количество пользователей по дням в разрезе источников',
                  xaxis_title='Дата',
                  yaxis_title='Количество пользователей',
                  width=800,
                  height=1000,
                  legend_title_text='Источники')
fig.show()


fig = px.line(profiles.sort_values('day'), x='day', y='cac', color='source')
fig.update_layout(title_text='CAC по источникам',
                  xaxis_title='Дата',
                  yaxis_title='CAC',
                  width=800,
                  height=600,
                  legend_title_text='Источники')
fig.show()
for source in profiles['source'].unique():
    print('Средний CAC по источнику {0}: {1}'.format(source, round(profiles.query('source == @source')['cac'].mean(), 2)))

Средний CAC по источнику facebook_ads: 0.79
Средний CAC по источнику yandex_direct: 0.46
Средний CAC по источнику youtube_channel_reklama: 0.4
Средний CAC по источнику instagram_new_adverts: 0.65


fig = go.Figure(go.Pie(labels=profiles.groupby('user_type')['user_id'].count().index, values=profiles.groupby('user_type')['user_id'].count()))
fig.update_traces(textinfo='value+percent', textposition='inside')
fig.update_layout(title_text='Распределение игроков по типам',
                  width=800,
                  height=600,
                  annotations=[dict(text='Типы игроков', x=1.18, y=1.05, font_size=15, showarrow=False)])
fig.show()


fig = px.bar(profiles.groupby(['source', 'user_type'])['user_id'].count().reset_index(), x='source', y='user_id', color='user_type', text='user_id')
fig.update_layout(title_text='Распределение игроков по типам в разрезе источников',
                  xaxis_title='Источник привлечения',
                  yaxis_title='Количество пользователей',
                  width=800,
                  height=600,
                  legend_title_text='Типы игроков')
fig.show()


fig = px.sunburst(profiles.groupby(['source', 'user_type'])['user_id'].count().reset_index(), path=['source', 'user_type'], values='user_id')
fig.update_layout(title_text='Распределение игроков по типам в разрезе источников',
                  width=800,
                  height=600)


print('Всего зданий построено игроками:', profiles['build_count'].sum())
print('В среднем на одного игрока:', round(profiles['build_count'].mean(), 2))
profiles['build_count'].hist(bins=20, figsize=(15, 5))
plt.title('Распределение игроков по количеству постоенных зданий')
plt.xlabel('Количество зданий')
plt.ylabel('Количество игроков')
plt.show()

Всего зданий построено игроками: 127956
В среднем на одного игрока: 9.43


for user_type in profiles['user_type'].unique():
    print('Всего зданий построено игроками типа {0}: {1}'.format(user_type, profiles.query('user_type == @user_type')['build_count'].sum()))
    print('В среднем на одного игрока типа {0}: {1}'.format(user_type, round(profiles.query('user_type == @user_type')['build_count'].mean(), 2)))
    profiles.query('user_type == @user_type')['build_count'].hist(bins=20, figsize=(15, 5))
    plt.title(user_type)
    plt.xlabel("Количество зданий")
    plt.ylabel("Количество игроков")
    plt.show()

Всего зданий построено игроками типа not_completed: 67170
В среднем на одного игрока типа not_completed: 8.66

Всего зданий построено игроками типа warrior: 37185
В среднем на одного игрока типа warrior: 9.41

Всего зданий построено игроками типа researcher: 23601
В среднем на одного игрока типа researcher: 12.65


plt.rcParams['figure.figsize'] = (15,8)
sns.boxplot(data=profiles, x='user_type', y='build_count')
plt.xlabel('Тип игрока')
plt.ylabel('Количество игроков')
plt.title('Медианное количество зданий, построенных игроками разных типов')
plt.show()


for user_source in profiles['source'].unique():
    print('Всего зданий построено игроками из {0}: {1}'.format(user_source, profiles.query('source == @user_source')['build_count'].sum()))
    print('В среднем на одного игрока из {0}: {1}'.format(user_source, round(profiles.query('source == @user_source')['build_count'].mean(), 2)))
    profiles.query('source == @user_source')['build_count'].hist(bins=20, figsize=(15, 5))
    plt.title(user_source)
    plt.xlabel("Количество зданий")
    plt.ylabel("Количество игроков")
    plt.show()

Всего зданий построено игроками из facebook_ads: 26131
В среднем на одного игрока из facebook_ads: 9.59

Всего зданий построено игроками из yandex_direct: 45032
В среднем на одного игрока из yandex_direct: 9.35

Всего зданий построено игроками из youtube_channel_reklama: 24978
В среднем на одного игрока из youtube_channel_reklama: 9.3

Всего зданий построено игроками из instagram_new_adverts: 31815
В среднем на одного игрока из instagram_new_adverts: 9.51


plt.rcParams['figure.figsize'] = (15,8)
sns.boxplot(data=profiles, x='source', y='build_count')
plt.xlabel('Источник привлечения')
plt.ylabel('Количество построек')
plt.title('Медианное количество построек по источникам привелечения')
plt.show()


for user_type in ['warrior', 'researcher']:
    profiles.query('user_type == @user_type')['compl_time'].hist(bins=100, figsize=(15, 5))
    plt.title(user_type)
    plt.xlabel("Время прохождения")
    plt.ylabel("Количество игроков")
    plt.show()


display('P-value: {0:.3f}'.format(st.ttest_ind(profiles.query('user_type == "warrior"')['compl_time'], profiles.query('user_type == "researcher"')['compl_time'], equal_var=False).pvalue))
display('Превышение среднего времени завершения 1 уровня "Исследователей" над "Воителями": {0:.2%}'.format(profiles.query('user_type == "researcher"')['compl_time'].mean() / profiles.query('user_type == "warrior"')['compl_time'].mean() - 1))

'P-value: 0.000'

'Превышение среднего времени завершения 1 уровня "Исследователей" над "Воителями": 21.20%'


display('P-value: {0:.3f}'.format(st.ttest_ind(profiles.query('user_type == "warrior"')['build_count'], profiles.query('user_type == "researcher"')['build_count'], equal_var=False).pvalue))
display('Превышение среднего количества построек "Исследователей" над "Воителями": {0:.2%}'.format(profiles.query('user_type == "researcher"')['build_count'].mean() / profiles.query('user_type == "warrior"')['build_count'].mean() - 1))

'P-value: 0.000'

'Превышение среднего количества построек "Исследователей" над "Воителями": 34.39%'

	source
user_id
53d146cf-1b2a-4038-8326-7900b021f418	1
53d59f09-9745-4bdd-b6e5-56f98a5228d4	1
53d8dfd2-d601-461b-a4fd-890be5b45d27	1
53dd4cec-f4ed-4405-a1e2-5cc272d897ef	1
ffff69cc-fec1-4fd3-9f98-93be1112a6b8	1

Маркетинговый анализ игры "Космические братья"¶

Предобработка данных¶

Загрузка и дубликаты¶

Пропуски¶

Корректировка форматов данных¶

Объединение таблиц, создание профилей¶

Исследовательский анализ¶

Распределение игроков по источникам привлечения и их CAC¶

Распределение игроков по типам¶

Анализ количества построенных зданий¶

Вывод по разделу¶

Статистический анализ¶

Проверка первой гипотезы¶

Проверка второй гипотезы¶

Вывод по разделу¶

Общие выводы¶

	event_datetime	event	building_type	user_id	project_type
0	2020-05-04 00:00:01	building	assembly_shop	55e92310-cb8e-4754-b622-597e124b03de	NaN
1	2020-05-04 00:00:03	building	assembly_shop	c07b1c10-f477-44dc-81dc-ec82254b1347	NaN
2	2020-05-04 00:00:16	building	assembly_shop	6edd42cc-e753-4ff6-a947-2107cd560710	NaN
3	2020-05-04 00:00:16	building	assembly_shop	92c69003-d60a-444a-827f-8cc51bf6bf4c	NaN
4	2020-05-04 00:00:35	building	assembly_shop	cdc6bb92-0ccb-4490-9866-ef142f09139d	NaN

	source	day	cost
0	facebook_ads	2020-05-03	935.882786
1	facebook_ads	2020-05-04	548.354480
2	facebook_ads	2020-05-05	260.185754
3	facebook_ads	2020-05-06	177.982200
4	facebook_ads	2020-05-07	111.766796

	user_id	source
0	0001f83c-c6ac-4621-b7f0-8a28b283ac30	facebook_ads
1	00151b4f-ba38-44a8-a650-d7cf130a0105	yandex_direct
2	001aaea6-3d14-43f1-8ca8-7f48820f17aa	youtube_channel_reklama
3	001d39dc-366c-4021-9604-6a3b9ff01e25	instagram_new_adverts
4	002f508f-67b6-479f-814b-b05f00d4e995	facebook_ads

	event_datetime	event	building_type	user_id	project_type
74890	2020-05-10 18:41:56	building	research_center	c9af55d2-b0ae-4bb4-b3d5-f32aa9ac03af	NaN
74891	2020-05-10 18:41:56	building	research_center	c9af55d2-b0ae-4bb4-b3d5-f32aa9ac03af	NaN

	user_id	first_ts	build_count	project	stage_1_compl	user_type	compl_time
0	0001f83c-c6ac-4621-b7f0-8a28b283ac30	2020-05-06 01:07:37	13	False	False	not_completed	NaN
1	00151b4f-ba38-44a8-a650-d7cf130a0105	2020-05-06 03:09:12	9	False	False	not_completed	NaN
2	001aaea6-3d14-43f1-8ca8-7f48820f17aa	2020-05-05 18:08:52	4	False	False	not_completed	NaN
3	001d39dc-366c-4021-9604-6a3b9ff01e25	2020-05-05 21:02:05	8	False	True	warrior	556722.0
4	002f508f-67b6-479f-814b-b05f00d4e995	2020-05-05 13:49:58	12	False	False	not_completed	NaN